این مسجد یکی از کهن ترین و کم نظیرترین مساجد ایران به شمار می رود که شیوه های معماری و هنر ادوار مختلف را می توان در آن به تماشا نشست.مقصوره کهن یا طاق هارونی قدیمی ترین بخش از بنای جامع عتیق قزوین است که به دهلیز ورودی شرقی آن متصّل بوده و توسط هارون الرشید در سال ۱۹۲ هجری قمری بنا شده است. می گویند شالوده مسجد را بربنیان آتشکده ای نهاده اند . در چهار جهت حیاط آن که افزون بر چهار هزار متر مربع است چهار ایوان رفیع قراردارد که دردو سوی هر یک رواقی طولانی ساخته اند. گنبد آجری دوپوش و شبستان جنوبی مسجد به وسیله امیر خمارتاش عمادی در سالهای ۵۰۰ تا ۵۰۹ هجری بنا شده و دارای پنج کتیبه نفیس گچبری شده به خطوط ثلث، نسخ و کوفی است که از شاهکارهای هنر ایرانی محسوب می شود و علیرغم حمله خانمانسوز مغول و وارد شدن آسیب های جدی به جامع عتیق قزوین همچنان استوار و پرشکوه باقی مانده است. در روزگار شاه طهماسب ایوان شمالی و مناره های کاشی کاری شده نفیس مسجد ساخته شده و ایوان جنوبی در زمان شاه عباس دوم به مدخل مقصوره خمارتاشی ملحق ، ایوان غربی نیز به دستور شاه سلیمان صفوی بناگشته است.
از ویژگی های ممتاز این مسجد علاوه بر داشتن هشت شبستان بزرگ در چهار طرف حیاط، یک شبستان زیرزمینی در ضلع جنوب غربی مسجد است که بنای آن توسط سعدالسلطنه در روزگار قاجار پایان یافته است.